SoSe2022

Folienübersicht

Grundzüge des Experimentellen Designs

Data Science 2 | Folienübersicht

Im Idealfall gilt,…

  • Effekte können eindeutig und ohne Verzerrung geschätzt werden.
  • die Schätzungen sind präzise.
  • die Schätzungen sind vor möglichen einmaligen Ereignissen geschützt, die die Ergebnisse beeinträchtigen könnten.
  • das Experiment ist leicht durchführbar.
  • die Daten sind einfach zu analysieren und zu interpretieren.
  • bei festem Zeit-, Ressourcen- und Stichprobenaufwand wird ein Maximum an Informationen gewonnen.
  • die Ergebnisse sind auf eine Vielzahl von Personen, Bedingungen und Situationen anwendbar.

→ Dies kann nur durch eine sorgfältige Planung vorweg erreicht werden, nicht nachdem die Daten erhoben wurden.

Data Science 2 | Folienübersicht

Die grundlegende Gleichung der Versuchsplanung


Data Science 2 | Folienübersicht

Komponente 1 der Gleichung

Behandlungseffekte (‘treatment effect’)

  • Werden durch die Manipulation und Eingriffe des Experimentators verursacht.
  • Schlussfolgerungen über die Behandlungsstufen machen zu können, ist das Hauptziel des Experiments.
  • Das Hauptaugenmerk bei der Versuchsplanung sollte hierauf liegen.
  • Werden oft auch ‘Faktoren’ genannt und die einzelnen Kategorien die Faktorstufen
  • Beispiele
    • Präparat: ‘Zugabe’ vs. ‘keine Zugabe’
    • Umwelt: ‘Standard’ vs. ‘Angereichert’
Data Science 2 | Folienübersicht

Komponente 2 der Gleichung

Biologische Effekte

  • Unterschiede, die durch intrinsische Eigenschaften des Probenmaterials zustande kommen und nicht durch aktive Manipulation.
  • Dies muss in der Versuchsplanung berücksichtigt werden: sollen Effekte explizit mit modelliert werden oder nicht?
  • Beispiel Geschlecht → die Männchen vieler Arten sind schwerer als die Weibchen. Ist Y nun das Gewicht, wird ein Teil der Variabilität durch das Geschlecht verursacht:
    • Es könnte daher nur ein Geschlecht untersucht werden, um diesen Effekt konstant zu halten → Nachteil: Interpolation gefährlich
    • Es könnten beide Geschlechter untersucht werden, damit die Schlussfolgerungen über die Behandlung für beide gültig ist → Nachteil: Design meist komplexer
    • Es könnte sogar untersucht werden, ob sich der Behandlungseffekt zwischen den Geschlechter unterscheidet (sog. Interaktionseffekte) → Nachteil: noch komplexer und es werden noch mehr Parameter geschätzt bei einem fixen Stichprobenumfang, was zu ein Herabsenkung der Teststärke führt.
Data Science 2 | Folienübersicht

Komponente 3 der Gleichung

Technische Effekte

  • Beziehen sich auf die Eigenschaften der Versuchsanlage.
  • Alle möglichen Effekte sollten im Vorfeld identifiziert werden und dann konstant gehalten werden.
  • Beispiel DNA-Mikroarray Studien → Proben werden über mehrere Tage hybridisiert und gescannt, was einen Tageseffekt einführt. Mögliche Lösungen:
    • Alle Proben an einem Tag analysieren.
    • Unterproben (gleiches N) aus allen Faktorstufen am gleichen Tag analysieren
Data Science 2 | Folienübersicht

Komponente 4 der Gleichung

4 Typen von Fehlern


Data Science 2 | Folienübersicht

Komponente 4 der Gleichung

4 Typen

Behandlungsfehler (‘treatment error’)

  • Exakte Replikation der Behandlung ist nicht möglich.
  • Beispiel: Es wird jedes Mal eine unterschiedliche Menge eines Präparats injiziert oder in unterschiedliche Körperstellen.
  • Vermeidbar durch Standardisierung; verbessert sich mit der Erfahrung der/des WissenschaftlerIn.

Experimenteller Fehler (‘experimental error’)

  • Die natürliche Streuung der experimentellen Einheiten (z.B. der Fische).
  • Schwer vom Behandlungsfehler zu unterscheiden.
  • Oft sehr groß bei Menschen, kleiner bei kleinen Tieren und noch kleiner bei in vitro Studien.

Beprobungsfehler (‘sampling error’)

  • Stichprobe und Unterproben nicht repräsentativ.
  • In der experimentellen Biologie gibt es häufig Probenteilungen und somit auch die Gefahr der ungenauen Teilung bzw. Unterprobenahme.
    • → Fehlerrate reduzierbar durch Erhöhung der Unterprobenzahl.

Messfehler (‘measurement error’)

  • Unpräzise Messgeräte.
  • Schwierigkeit im Handling → Otholithenschnitte bei Fischen zu dick um Alter zu lesen.
  • Unklare Definition, was genau gemessen werden soll.
  • Können allerdings leicht quantifiziert werden, indem wiederholte Messungen an der gleichen Probe genommen werden.
Data Science 2 | Folienübersicht

Das optimale Versuchsdesign finden

Wozu?

  • Ziele der Planung eines optimalen Versuchsdesigns ist unter den gegebenen Ressourcen den Informationsgehalt zu maximieren, indem präzise Schätzungen erzielt werden und somit eine höhere Teststärke, um wahre Effekte nachzuweisen.
  • Ein optimales Design kann den Stichprobenumfang reduzieren und somit Zeit und Kosten sparen.
  • Allerdings ist ein optimales Design nur hinsichtlich einiger weniger Kriterien optimal! Die Wahl hängt letztendlich immer von der Fragestellung und den Möglichkeiten der Versuchsdurchführung ab.
  • Bei der Poweranalyse und Stichprobenberechnung ist das Design bereits gegeben, aber wie wird das richtige Design gewählt?
  • Die Wahl des Designs ist sehr komplex, es gibt aber ein paar Faustregeln.
Data Science 2 | Folienübersicht

Wichtige Kriterien der Versuchsplanung

Data Science 2 | Folienübersicht

Die Kriterien im einzelnen

Data Science 2 | Folienübersicht

Repräsentativität der Stichprobe

Data Science 2 | Folienübersicht

Randomisierung - der goldene Standard

Data Science 2 | Folienübersicht

Blocking

  • Wenn der experimentelle Fehler (zur Erinnerung: die Variation zwischen den EUs) groß ist → Behandlungsfehler schwer zu erkennen
  • Ursachen für Variabilität:
    • EUs sind heterogen
    • EU bilden erkennbare Untergruppen (z. B. Männchen und Weibchen)
    • EUs werden in Chargen gruppiert, um das Experimentverfahren zu vereinfachen → diese technischen Artefakte beeinflussen das Ergebnis

Übernommen aus: Lazic (2016) Experimental Design for Laboratory Biologists
Data Science 2 | Folienübersicht

Feste vs. zufällige Effekte

  • Die Behandlungs-, biologischen und technischen Effekte lassen sich in 2 Typen unterscheiden: fest (fixed) und zufällig (random).
  • Die Unterscheidung ist wichtig, weil sie zu unterschiedlichen Analysen und Interpretationen der Ergebnisse führen.
  • Ob ein kategorialer Prädikator fest oder zufällig ist, hängt nur davon ab, wie wir es definieren wollen!

Feste Effekte

  • Die meisten Standardtests gehen von festen Faktoren aus.
  • Die einzelnen Faktorstufen beziehen sich auf den Mittelwert von Y.
  • Feste Effekte sind biologisch interessant und testen eine experimentelle Hypothese, daher sind Behandlungseffekte immer fest.

Zufällige Effekte

  • Die einzelnen Faktorstufen beziehen sich auf die Varianz von Y.
  • Zufällige Effekte sind meist weniger interessant, z.B. Unterschiede zwischen Inkubatoren, Käfigen, etc., aber sie müssen mit berücksichtigt werden, da sie Y beeinflussen.
  • Oft werden biologische und v.a. technische Effekte als zufällige Effekte behandelt.
Data Science 2 | Folienübersicht

Auswahl des Effekttypen

Fragen, die Du Dir stellen solltest Fest Zufällig
Interessiert an den Unterschieden zwischen den Faktorstufen? ☑️︎
Ist der Faktor ein Behandlungseffekt? ☑️
Sind die Faktorstufen informativ? ☑️
Repräsentieren die Faktorstufen experimentelle Interventionen? ☑️
Sind die Faktorstufen speziell ausgewählt? ☑️
Kommen alle Stufen des Faktors im Experiment vor? ☑️
Kommen die Faktorstufen von der gleichen Population? ☑️
Gibt es viele Faktorstufen? ☑️
Soll auf andere Faktorstufen, die nicht im Experiment vorkommen, verallgemeinert werden? ☑️
Gibt es ein verschachteltes (nested) oder hierarchisches (Sub)sampling? ☑️
Quelle: Lazic (2016) Experimental Design for Laboratory Biologists
Data Science 2 | Folienübersicht

Modelltypen und Hypothesen

  • Modell 1: Nur feste Faktoren (= ‘fixed effects model’)
  • Modell 2: Nur zufällige Faktoren (= ‘random effects model’)
  • Modell 3: Feste und zufällige Faktoren (= ‘mixed effects model’)

Fester Faktor A

Wenn H0 für einen festen Faktor abgelehnt werden kann:

  • Mindestens ein \(\alpha_i \neq 0\)
  • \(MS_{A}\) schätzt die Varianze \(\sigma^2\) + Behandlungseffekte
  • F-Quotient > 1

Zufälliger Faktor B

Wenn H0 für einen zufälligen Faktor abgelehnt werden kann:

  • \(\sigma_{\beta}^2\) > 0 (\(\sigma_{\beta}^2\) = Varianz zwischen allen Gruppen in B)
  • \(MS_B\) schätzt die Varianze \(\sigma^2\) + zusätzliche Varianz aufgrund der Gruppen in B
  • F-Quotient > 1
Data Science 2 | Folienübersicht

Gekreuztes vs. verschachteltes Arrangement

1

Data Science 2 | Folienübersicht

Gekreuztes vs. verschachteltes Arrangement

2

Achtung vor falschen Zuweisungen, die zu Verwechslungen führen!

Schwierig zwischen Käfig- und Futtertypeffekt zu unterscheiden:

Data Science 2 | Folienübersicht

Interaktionen der Variablen

  • Im gekreuzten Design sind gemeinsame Wirkungen von Faktoren möglicherweise nicht die Summe ihrer Einzelwirkungen!
  • Einzelanalysen zeigen keine möglichen kumulativen Wirkungen.

Berühmtes Kaninchenbeispiel von George Box

Quelle: Box (1990) George’s Column - Do interactions matter?
Quality Engineering, 2(3), 365–369
Data Science 2 | Folienübersicht

Interaktionen der Variablen

Fokus auf interaktive und kumulative Effekte

Quelle: Crain et al. (2008) Interactive and cumulative effects
of multiple human stressors in marine systems, Ecol Lett, 11
p
Data Science 2 | Folienübersicht

Interaktionen der Variablen

Fokus auf Haupteffekte

Meist liegt der Fokus aber NICHT auf den Interaktionen. Aber um eine Interpretation des Haupteffekts zu ermöglichen, muss geprüft werden, ob der Effekt eines Faktors von der Höhe des anderen Faktors abhängt:

Data Science 2 | Folienübersicht

Kontrollen

Negative Kontrollen

  • ‘alle außer X’ → alles ist gleich bis auf X
  • 2 Typen:
    • Verfahrenskontrolle (‘Placebo’): Ähnliches Verfahren außer für die eigentliche Behandlung, z.B. Injektion von Kochsalzlösung anstelle von Medikamenten,.
    • Naive Kontrolle: nützlich, wenn die Handhabung der Behandlung (z.B. die Injektion selbst) eine Wirkung hat.
  • Wenn kein Unterschied zwischen beiden Kontrollen besteht, können sie zusammengelegt werden, um die Probengröße zu erhöhen.

Positive Kontrollen

  • Zusätzliche Behandlung, von der bekannt ist, dass sie eine Wirkung hat, wird als Baseline verwendet.
  • Nützlich, um zu prüfen, ob die EU überhaupt reagiert → Test ob Versuchsaufbau geeignet ist
  • Bietet einen Benchmark zum Vergleich der Größe der Behandlungseffekte.
  • Bei großer Wirkungsstärke der Behandlung keine Positivkontrolle erforderlich.
Data Science 2 | Folienübersicht

Blindproben

Blindproben und Doppel-Blindproben

Data Science 2 | Folienübersicht

Front- (FA) vs. end-alignment (EA)

→ Je länger die Dauer, desto besser ein EA-Design!

Data Science 2 | Folienübersicht

Störeffekte

1

Data Science 2 | Folienübersicht

Störeffekte

2

Data Science 2 | Folienübersicht

Störeffekte

3

Data Science 2 | Folienübersicht

Störeffekte

4

Data Science 2 | Folienübersicht

Störeffekte

5

  • Der interessierende Faktor sollte isoliert werden.
  • Eine oder besser zwei Kontrollen im Experiment verwenden.
  • Wenn Störfaktoren unvermeidbar sind sollte das Experiment so gestaltet werden, dass die Auswirkungen getestet werden können.

→ Abwägen, welcher biologische/technische Effekt am meisten stört.

Data Science 2 | Folienübersicht

Quellen der Variabilität und Heterogenität

Räumlich

  • Patchiness
  • Physikalische Gradienten

Zeitlich

  • Tageszeitliche Rhythmen
  • Jahreszeiten
  • Sukzession

Biologisch

  • Altersklassen
  • Geschlecht
  • Genetik

Methodisch

  • Defekte Instrumente
  • Subjektive Bewertung
  • Physiologische Bedingungen
Data Science 2 | Folienübersicht

Replikation

  • Jede Einheit mit der gleichen Behandlung wird als Replikat bezeichnet.
  • Liefert uns ein Maß für die natürliche Variabilität (“Fehler”-Variation).
  • Muss auf einer korrekte Stufe liegen, um präzise Schlüsse ziehen zu können.
  • Replikate müssen unabhängig sein, um Beeinträchtigungen zu vermeiden!
Data Science 2 | Folienübersicht

Pseudoeplikation

Data Science 2 | Folienübersicht

Planungsoptimierung - Genauigkeit und Präzision

p
Data Science 2 | Folienübersicht

Häufige Designs und entsprechende (parametrische) Analysen

Vollständig randomisiertes Designs - Completely Randomised Design (CRD)

  • Alle Versuchseinheiten sind unabhängig und werden den Kombinationen an Behandlungsstufen zufällig zugeordnet.
  • Unterscheidet in
    • 1 Faktor, 2 Gruppen → t-Test (oder 1-way ANOVA)
    • 1 Faktor, mehrere Gruppen → 1-way ANOVA (oder Regression)
    • 2 Faktoren, gekreuzt → 2-way crossed ANOVA
    • 1 Faktor mit Unterproben (Pseudoreplikation) → 2-way nested ANOVA
    • 1 Faktor, 1 Kovariate → ANCOVA

Weitere Designs

  • Randomisiertes Blockdesign / Split-Plot-Design / Design mit Messwiederholung (Repeated measures design)
Data Science 2 | Folienübersicht

Abschlussquiz

Data Science 2 | Folienübersicht

Fragen?

Data Science 2 | Folienübersicht